컬러 정지 영 상 에서 색 상 과 모양 정 보 를 
이용한 얼굴 영역 검출 
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요 약 


본 논 문 에서는 컬러 정지 영 상 에서 색 상 과 모양 정 보 를 이용한 얼굴 영역 검출 알 고 리 즘 을 제 안 한 다. 제 안 된 
알 고 리 즘 은 (46 색 공 간 에 서 (와 ( ㅠ 성 분 만 을 이 용 하 여 조 명 의 영 향 을 줄일 수 있다. 피부색 분 할 을 한 
후 얼굴 후보 영 역 들의 잡음 제 거 와 단 순 화 를 위해 형 태 학적 필 터 와 기하학적 교 정 을 거친다. 입력 영상 내에 
여러 사 람 이 존재할 경 우 에도 레 이 블 링 을 통해 각 각 의 얼굴 후보 영 역 들 로 분 리 할 수 있고, 또한 2 차 모 멘 트 를 
기 반 으로 한 타원 특 징 들을 추 출 하여 기 울 어 진 얼굴 영 역 들 도 성 공 적 으로 검 출 할 수 있다. 
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1 서 론 


정지 영 상 이나 동 영 상 으로부터 얼 굴 을 자 동 적 으 
로 인 식 하 는 기 술 은 영상 처 리 나 패턴 인식, 컴퓨터 
비 전 과 신경망 같은 여러 분 야 에서 활발히 연 구 되고 
있다. 얼굴 인식 분 야 로는 얼굴 검 출 [1-4], 얼굴 인식 
[5], 얼굴 추 적 [6], 표정 인식, 비디오 코 딩 [7] 등 의 분 
야로 분 류 되고, 실제로 응 용 되는 분 야 는 안 식 된 얼굴 
을 범죄자 검색 시스템, 개인용 컴 퓨 터 의 접근 제어, 
공공 기 관 에 서 의 보안 시스템 등 의 분 야 에 적 용 되고 
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있다. 

얼굴 검출 방 법 으로 색상, 모양, 통계, 움직임 정보 
등 을 이용한다. 색상 분 석 은 얼 굴 의 가변 크 기 와 방 
향 에 대해 강건한 특 성 을 보이지만, 조 명 에 큰 영향 
을 받는 것이 단 점 이 다, 모양 분 석 은 타 원 형 태 의 얼 
굴 모 델 을 정 의 하고, 타 원 의 매 개 변 수 를 계 산 하여 얼 
굴 모 델 에 부 합 되는 영 역 을 얼굴 영 역 으로 검 출 하는 
타원 적합 방 법 이 대 표 적 으 로 쓰인다. 50000088 와 
버 \68 는 인 간 의 시각적 지 각 력 특 성 을 지닌 116? 
(446-8810008000-\31046) 색 공 간 에 서 106 와 6804- 
78000 성 분 을 이용해 피 부 색 과 유사한 영 역 으로 분 
할 한 후에 모 멘 트 를 기 반 으로 6666 -【 611056 를 구 
하여 얼굴 영 역 인 지 를 판 별 하지만, 단순한 배 경 과 한 
사 람 이 존 재 하 는 제한된 영 상 에만 적 용 하 였 다 [21. 
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(81 와 0680 은 700 색 공 간 에 서 피부색 참조 맵 
을 만들어 영역 기 반 으로 한 정규화 과 정 들을 거쳐 
얼굴 위 치 를 찾 아 내 지만, 상 반 신 으 로 제한된 한 사람 
이 존 재 하는 영 상 에서만 얼굴 영역 위 치 를 찾 아 내 었 
다 [3]. 장 선 아 와 유 지 상 은 2 차 후보 영역 알 고 리 즘 을 
적 용 하여 복잡한 배 경 과 상 반 신 으 로 제한된 환 경 에 
서 두 사 람 이 존 재 하는 경 우 도 얼굴 영 역 들 을 검 출 할 
수 있 었 다 [4]. 

통 계 학 적인 방 법 은 704&(800010801 (2007 ㅁ 00064 
스 2217519)[5], 18633170414 1466111000[8] 동의 방 법 들 
이 사용되고 있다. 장 점 으 로 는 정 확 하 고 신뢰할 수 
있는 결 과 를 얻을 수 있지만, 계 산 량이 많고, 여러 가정 
들 에 상당히 의 존 한 다. [10 ㅠ 와 『26008300 는 그레이스 
케일 영 상 에서 고 유 영상 또는 고 유 얼 굴 이 라고 불리 
는 특 징 을 얼굴 검 출 과 인 식 에 사 용 하였다. 모든 입 
력 얼굴 영 상 은 고 유 얼 굴 에 의해 차 원 이 축 소 된 가중 
치 벡 터 로 표 현 되며, 인 식 방 법 은 유클리드 거리 방법 
을 사 용 하 여 높은 성 능 을 보였지만, 처리 시 간 이 많 
이 걸리는 단 점 이 있 다 [51. 

본 논 문 에서는 이러한 문 제 점 을 해 결 하기 위해 조 
명의 영 향 을 줄이고, 입력 영상 내 에 서 여러 사 람 이 
존 재 하는 경 우 에도 모든 얼굴 영 역 들을 검 출 하기 위 
한 알 고 리 즘 을 제 안 하였다. 

본 논 문 의 구 성 은 다 음 과 같다. 2 장 에서는 제 안 된 
얼굴 영역 검출 알고리즘 과 정 을 알아보고, 3 장 에서 
는 실 험 을 통 해 셔 제 안 된 방 법 에 대한 성 능 을 평 가 한 
다. 마 지 막 으로 4 장 에서는 결 론 을 맺는다. 


2. 얼굴 영역 검출 알고리즘 


본 논 문 에서 제안한 얼굴 영역 검출 알 고 리 즘 은 
조 명 의 영 향 을 줄이기 위해 ?(6( 색 공 간 에서 08 와 
(> 성 분 만을 이 용 하 여 피부색 영 역 들을 찾아낸 후 
찾 아 진 영 역 들의 신 뢰 도 를 높이기 위해 형 태 학적 필 
터 와 기하학적 교 정 을 거친다. 얼굴 후보 영 역 들을 

분 하기 위한 레 이 블 링 과 정 은 영상 내 에 서 여러 사람 
이 존 재 하는 경 우 에도 모든 얼굴 후보 영 역 들을 분리 
할 수 있다. 분 리 된 얼굴 후보 영 역 예서 2 차 모 멘 트 를 
기 반 으로 한 특 징 들을 추 출 하고, 타원 모양 제 한 자의 
임 계 값 내의 영 역 만을 추 출 하여 얼굴 영 역 을 검 출 함 
으로써 얼 굴 이 기 울 어 져 있는 얼굴 영 역 도 검출 가능 
하다. 그림 1 은 제 안 된 알 고 리 즘 의 열 쿨 영역 검출 
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그림 1. 제 안 된 얼굴 영역 검출 알고리즘 
알고리즘 과 정 이다. 


2.1 피부색 분할 


피 부 색 은 (6, 색 공 간 에 서 (와 (에서 국부적 
으로 분 포 하 기 에 피부색 참조 맵 을 만들어 입력 영상 
의 화 소 가 피 부 색 인 지 를 분 류 하는 과 정 이다. 우선 입 
력 영 상 의 0602 색 공 간 으로부터 (46 색 공 간 으 로 
변 환 한 다. 70607 색 공 간 은 1111-601 표 준 으로 08 
색 공 간 과 의 변 환 은 식 (1) 과 같이 표 현 되고 변 환 된 
00 색 공 간 은 휘도 성분 와 색차 성분 (와 (ㅜㅠ 


로 표 현 된다. 

4 16 0.257 0.504 0.098 「 

6 | = | 128 | + |-0.148 -0.291 0.439 |* | ㅇ ｜ (1) 
(0 128 0.439  -0.368 -0.071 # 


일 반 적 으로 인 간 의 시각 체 계 가 색차 신 호 의 변화 
보다 밝기 신 호 의 변 화 에 민 감 하 기 에 7040, 색 공간 
에서 ? 성 분 은 버리고, 와 (> 성 분 만을 가지고 식 
(2) 과 같이 피부색 분 할 을 수 행 한다. 
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2662) = | (2) 

여기서 8(×, 9) 는 피 부 색 으 로 분 할 된 출력 영 상 이 
다. 대 와 (의 임 계 값 설 정 은 제 안 된 얼굴 영역 검출 
알 고 리 즘 의 전처리 과 정 으로 표본 영 상 들 로 부터 136 
명의 얼굴 영 역 의 피부색 화 소 들 만 을 취한 후 피부색 
색채 히 스 토 그 램 을 계 산 하 여 정 하 였다. (<, >) 좌 표 에 
서 의 (와 (, 성분 모 두 가 각 각 의 임 계 값 범위 내에 
있다면 같은 좌 표 에 서 의 출력 영 상 의 화 소 의 값 을 
1 로 설 정 하 고 피 부 색 으로 분 류 한다. 그렇지 않다면 
0 으 로 설 정 하고 피 부 색 이 아닌 화 소 로 분 류 한 다. 

그럼 3 의 (8) 는 입력 영 상 이고, 그림 2 의 (6) 는 입 
력 영 상 에 대해 식 (2) 을 적 용 하여 피 부 색 으로 분할 
된 영 상 을 보여준다. 


그림 2. 피부색 분할 
(3) 입력 영상, 06) 피 부 색 으로 분 할 된 영상 


2.2 형 태 학적 필터링 

형 태 학적 필 터 링 은 찾고자 하는 객 체 들의 탐 색 을 
용 이 하게 하기 위해 객 체 의 윤 곽 선 을 매끄럽게 하고, 
작은 구 명 들을 채우고, 돌출 부 분 을 제 거 함으로써 피 
부 색 으로 분 할 된 영 상 을 단 순 화 시켜 주는 역 할 을 한 
다. 기본적인 형 태 학적 연 산 들은 확 장 과 수 축 이다. 
이러한 연 산 들 은 66040010108 60060 (60) 의 적절 
한 선 택 에 의해 효 율 적 으로 잡 음 이 제 거 된다. 

영상 & 의 확 장 은 식 (3) 과 같이 정 의 되 고, 객 체 를 
확 장 시키며, 작은 구 명 들을 채우고, 객 체 의 이음매 
부 분 들 을 연 결 시 켜 주는 역 할 을 한다. 

4@.698=| ㅇ 642 ㅇ =0+6 ㅇ 70 607200 ㄷ 4 06654| 

(3) 

수 축 은 식 (4) 과 같이 정 의 되 고, 경계선 
을 수 축 시킴으로써 아주 작은 물 체 를 제 거 하거나 또 


물 체 를 줄 여 주 는 역 할 을 한다. 


46@ 68 = {26 # 직 ~+60 ㅎ ㅇ 4 70 0007 8654} (4) 
행한 후에 확장 연 산 을 거치는 00- 
60108 연 산 은 식 (6) 과 같이 정 의 되고, 배 경 에 하 양 게 
고 렵 된 잡 음 이 제 거 된 다. 
4058=(46090098 (6) 
0060178 연 산 과 반대 과 정 을 수 행 하는 <105178 연 
산은 식 (6) 과 같이 정 의 되고, 객 체 에서 까 망 게 고립 


요 
수축 연 산 을 수 


된 잡 음 이 제 거 되는 효 과 를 얻을 수 있다. 
4* ㅇ 580 =(40@.58)6@.58 (6) 
그럼 2 의 (6) 의 입력 영 상 에 대해 0060108/ 
2105108 연 산 을 적용한 출력 영 상 이 그림 3 의 (6) 와 
같다. 


(3) 06) 
그림 3. 형 태 학적 필터 

(3) 피 부 색 으로 분 할 된 영상 

(06) (00601748/0105188 연 산 후의 영상 


2.3 기하학적 교정 


목 선 이 많이 노 출 된 경우 얼굴 영 역 보다 넓은 
굴 후보 영 역 들 로 추 출 되 기 에 얼굴 후보 영 역 들 
매끄럽게 하기 위해서 기하학적 교 정 을 거친다. 이를 
위해서는 수평, 수직 방향 투영 과 정 이 필 요 하다. 

수평 방향 투 영 은 각 각 의 행 을 수평 방 향 으로 스 
캔 하면서 화 소 의 값 들 을 더해 가면 되고, 기 하 학 적 인 
교 정 을 위해 임 계 값 보다 작은 행 들 에 대해서는 화소 
의 값 들 을 0 으 로 설 정 하고, 임 계 값 이상일 경 우 에 는 
화 소 의 값 들 을 유 지 한 다. 이는 목 선 이 많이 노 출 된 
경 우 에 목 부 분 의 영 역 을 제 거 하는데 유 용 하다. 그럼 
4 의 (8) 는 수평 투 영 한 히 스 토 그 램 이고, 그럼 4 의 (6) 
는 기 하 학 적 인 교 정 을 거친 히 스 토 그 램 을 보여준다, 

수직 방향 투 영 도 각 각 의 열 을 수직 방 향 으로 스 
캔 하면서 화 소 의 값 들 을 더해 가면 되고, 기 하 학 적 인 
교 정 은 수평 방 향 의 기하학적 교 정 과 동일한 방 법 으 
로 수 행 한다. 그림 4 의 (0) 는 수직 투 영 한 히 스 토 그램 
이고, 그림 4 의 (0) 는 기 하 학 적 인 교 정 을 거친 히 스 토 
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그림 4. 투영 히 스 토 그램 
(8) 수평 조우 히 스 토 그램 (6) 기하학적 교정 후의 수평 투영 히 스 토 그램 


(0) 수직 투 


그 램 을 보여준다. 


그림 3 의 (6) 의 입력 영 상 에 대해 그림 5 의 (3) 는 


수평 방 향 으로 기하학적 교 정 된 영 상 이고, 이를 다시 
수직 방 향 으로 기하학적 교 정 된 영 상 은 그림 5 의 (6) 
와 같다. 


(8) 06) 


그림 5. 기하학적 교정 
(3) 수평 방향 (6) 수직 방향 


2.4 (001016060 (60010 ㅠ 01161 Ｌ ㄴ 86011090 


영 상 에 여러 사 람 이 존 재 하 는 경우 다 수 의 얼굴 
후보 영 역 을 분 리 하기 위해 레 이 블 링 알 고 리 즘 을 수 
행한다. 레 이 블 링 과 정 을 거친 영 상 은 각 각 의 얼굴 
후보 영 역 들은 1 번 레 이 블 부터 얼굴 후보 영역 수만 
큼 의 레 이 블 로 구 별 하며 화소 연 산 이 아니라 영역 
연 산 을 한다. 레 이 블 링 알고리즘 살펴보면 우선 원하 
는 방 향 성 을 정의한 후 영 상 을 스 캔 하면서 연결된 
객 체 는 같 새어 표 시 하 고, 연 결 되지 않은 객체 


는 레 이 블 을 1 씩 증 가 시키면서 얼굴 후보 영 역 들을 
분 리 할 수 수 있다. 


그림 6 의 (6) 는 입력 영 상 에 대해 레 이 블 링 알 고 리 
즘 을 적용한 결 과 이고, 각 각 의 얼굴 후보 영 역 들 을 
별 하 기 쉽게 색 상 을 입힌 영 상 이다. 


영 히 스 토 그램 (0) 기하학적 교정 후의 수직 투영 히 스 토 그램 


(3) 00) 


그림 6. 00006060 00100 ㅁ 01001 ㄴ 8061100 
(2) 기하학적 교정 영상, 06) 레 이 블 된 영상 


2.5 얼굴 후보 영 역 들의 특징 추출 및 얼굴 영역 
검출 


다 수 의 얼굴 후보 영 혁 들어 얼굴 영 역 인 지 를 검증 
하기 위해서는 008 얼굴 후보 영 역 들 에 대해서 


| 


얼굴 영 역 으로 검 출 한다. 

사 람 의 얼 굴 은 타원 형 태 를 지니고, 타원 형 
얼굴 위치 모 델 은 그림 7 과 같다. 타 원 은 중심 
(× 2), 타 원 의 장 축 (6 ) 과 단 축 (4) 의 길이, 방 향 ( 0 ) 
으로 정 의 되고, 타 원 의 매 개 변 수 들은 2 차 모 멘 트 를 


이 용 하 여 식 (7)-(14) 에 서 구할 수 있 다 [9]. 
1 
,=- > 
2 (7) 
1 
고 (8) 
그외 대 (9) 
서 (27068 
= 극 >: (6-)0-)) (10) 


42 206 
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1 
9 = 국 2 0-2) (011) 


겼 (3.7)6# 


0 =242 4. ++ 기 6 요 그 시) 94 (12) 
ㅇ = 242 6 6 길고 46027 그 94 (13) 


1 -24 


27 --22----- ㅠ 7" (/<,, ㅠ = <.) 
해 -/ 이 -/0^ 442 서 


(14) 


130 


「 2 
」 ㅅ 6 - ㅅ 6~ 기 -/62)" +. 


-2 


1320 


식에서 면적 4, 2 차 행 모 멘트 /, ㅠ , 2 차 혼합 모 멘 
트 46, 2 차 열 모멘트 //, 라 고 표 기 한다. 식 (7)- 
(14) 에 서 구 해 진 타 원 의 매 개 변 수 값 들 은 사 람 의 얼 
굴 형 태 를 가지는 모양 제 한 자 에 의해 검증 과 정 을 
거친다. 

모양 제 한 자 로 는 면 적 (4), 제한 직 사 각 형 의 가로 
와 세 로 의 비 율 (2,20), 타 원 의 장 축 과 단 축 의 비율 
(2220), 방 향 ( 6 ) 이 쓰였고, 모양 제 한 자의 조 건 에 부 
합 되는 영 역 만을 최 종 적 으로 얼굴 영 역 으로 검 출 한 
다. 실 험 에 적용된 모양 제 한 자 의 값 은 16×16 이상 
의 면 적 을 차지하는 얼굴 영 역 만을 고 려 했 고, 00 
는 1-2.20. 2.200 는 1-1.8, 0 는 45" - 135" 의 범 위 로 제 
한 했다. 그럼 8 의 (0) 는 모양 제 한 자의 조 건 에 부 합 되 
는 영 역 만을 얼굴 영 역 으로 검 출 한 영 상 이다. 


그림 7. 타원 형 태 의 얼굴 영역 위치 모델 


0) (06) 


그림 8. 얼굴 영역 검출 영상 
원 영상, (6) 레 이 블 된 영상, (0) 얼굴 영역 검출 영상 


보 - 


(2 


3. 실험 결과 


제안한 알 고 리 즘 은 황 인 종 과 백 인 종 모 두 에서 적 
용 하 였고, 실 험 에 사 용 된 영 상 은 ㅅ 군 , 8 군 , ( 군 으 로 
분 류 하여 총 260 장 의 정 지 영 상 을 실 험 에 사 용 하 였 
다. ㅅ 군 영 상 들은 디지털 스 캐 너 와 001 카 메 라 로 
한 한 사 람 이 존 재 하는 얼굴 영 상 이고, 8 군 영상 

02006 08700006 동 영 상 을 프 레 임 별로 획 득 한 
} 람 이 존 재 하는 얼굴 영 상 이다. 그리고 (: 군 영상 
영 상 내의 사 람 의 얼 굴 이 2 인 이 상 이 포 함 된 얼 
상 이 다. 
다양한 영상 조 건 에 서 의 얼굴 영역 검출 
평 가 를 보여준다. 8 군 영 상 은 40286 동 영 상 을 
임 별로 획 득 한 정 지 영 상 으 로 96% 의 높은 검출 
보였다. 

는 영 상 내의 사람 수 에 따른 얼굴 영역 검출 
가를 보여준다. 영 상 내의 2 인 이 상 이 존 재 하 
레 이 블 렁 이 잘못 수 행 되어 얼굴 후보 영 역 들 


>× (16 20 


떠 때 (일 때 포 


기브 떠 0 [보소 
에 \ 06 쪼 이 버 28 [0 
62 ㅡ 
{0 


아녀 
고 


표 1. 다양한 영상 조 건 에 서 의 성능 평가 


검 출 을 (%) 
88.2 
96 
82 
90 
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표 2. 영 상 내의 사람 수 에 따른 성능 평가 


을 제대로 구 분 하 지 못한 경 우 와 손 이 얼 굴 과 겹쳐져 

는 경우 또는 손 이 얼 굴 의 모 양 과 비 슷 하 여 얼굴 
영 역 으로 검 출 하 는 오 류 를 범하여 한 사 람 이 있는 
경 우 에 비해 검 출 율 이 낮은 결 과 를 보였다. 

표 3 은 기 존 의 연 구 와 제안한 방 법 의 성능 비 교 를 
보여준다. 영 상 내의 한 사 람 이 존 재 하 는 경 우 의 얼굴 
영역 검출 결 과 는 기 존 의 연구 방 법 [4] 에 비해 제안 
된 방 법 이 4.2% 개 선 된 검 출 율 을 보였고, 기 존 의 방 
법 은 두 사 람 이 존 재 하는 영 상 들만 검 출 하 는데 비해 

안된 방 법 에서는 비슷한 검 출 을 을 보 이 면 서 도 두 
람 뿐만 아니라 세 사람 이상의 얼굴 영 역 들 도 검출 
는 성 능 을 보였다. 
그림 9 의 (6), (0), (0) 는 입력 영 상 에 대해 다양한 
명 조 건 들 로 변 화 하 여 여러 조명 조 건 들 하 에 서 도 
굴 영 역 으로 검 출 된 영 상 들 이다. 이는 성 분 은 
리 


조 
업 
개 
버 
6 
【[- 
경 
의 


의 여러 사 람 이 존 재 하 는 얼굴 입력 영 상 에 대하여 
다 중 의 얼굴 영역 검출 영 상 들을 보여준다. 


(0 (0) 


그림 9. 다양한 조 명 에 서 의 얼굴 영역 검출 


표 3. 얼굴 영역 검출 연구 비교 


실험 조건 


복잡한 배경 
상반신 


제 안 된 방 범 | 강 섭 싱 


상반신 


(3! 115 번 프레임 061 376 번 프레임 


그림 10. 기 울 어 진 얼굴 영역 검출 영상 


4. 결 론 


논 문 에서는 다양한 배경 및 다양한 조 건 을 가 


지는 컬러 영 상 에서 피부색 정 보 와 타원 정 보 를 이용 
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하여 얼굴 영 역 을 검 출 하는 알 고 리 즘 을 제 안 하였다. 
조 명 의 영 향 을 줄이기 위해 ?(6( ㅜ 색 공 간 에서 휘도 
성 분 인 는 버리고 색차 성 분 인 (와 (만을 사 용 했 
고, 황 인 종 과 백 인 종 의 관 계 없는 피부색 참조 맵 을 
만들어 피부색 영 역 을 추 출 하였다. 영 상 내의 여러 사 
람 이 존재할 경우 레 이 블 링 과 정 을 이 용 하 여 각 각 의 
얼굴 후보 영 역 들 로 분 리 하여 다 중 의 얼굴 영 역 들 도 
검 출 하였다. 또한 2 차 모 멘 트 와 타 원 의 특 성 에 기반 
으로 한 특 징 들을 계 산 하여 모 양 제 한 자의 범 위 내의 
기 울 어 진 얼굴 영 역 들 도 검 출 하였다. 

제 안 된 알 고 리 즘 은 색상 정 보 를 우 선 적 으로 이용 
하였기에 착 용 한 옷 이 피 부 색 과 유사한 경 우 나, 머리 
에 염 색 을 한 경우 얼굴 영 역 보다 넓게 검 출 되는 오 
류 가 있었지만, 영 상 내의 한 사 람 이 존 재 하 는 경우 
기 존 의 방 법 에 비해 제 안 된 방 법 이 4.2% 개 선 된 검 
출 을 을 보였고, 기 존 의 방 법 은 두 사 람 이 존 재 하는 
영 상 들만 검 출 하는데 비해 제 안 된 방 법 에서는 비슷 
한 검 출 율 을 보 이 면 서 도 두 사 람 뿐만 아니라 세 사람 
이상의 얼굴 영 역 들 도 검 출 되는 성 능 을 보였다 


여 실 시 간 으로 얼굴 영 추 적 하는 시 스 텐 을 구현 
하는 것이다. 
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